Індекс рубрикатора НБУВ: З973.6

Рубрики:

Нейрокомп'ютери

Шифр НБУВ: Ж14024 Пошук видання у каталогах НБУВ 

Розглянуто характеристики грубого кодування за допомогою випадково розподілених гіперпрямокутних рецептивних полів для схеми випадкових підпросторів RSC. Одержано розподіли ймовірностей рецептивних полів, вирази для щільності розподілу у різних точках вхідного простору, характеристики перекриття кодів та ін. Результати теоретичного аналізу підтверджено експериментами на кодах великої розмірності.

Розглянуто схеми бінарного кодування числових векторів за допомогою гіперпрямокутних рецептивних полів: схеми із випадковими полями RSC і Prager, а також схема CMAC із регулярними полями. Дано теоретичну і експериментальну оцінку роздільної здатності кодів. Проведено порівняльний аналіз схем кодування.

Описано розподілені коди, їх властивості, міри подібності та інші характеристики. Розглянуто низку процедур стохастичного розподіленого кодування скалярних величин. Визначено методи керування крутизною характеристики перекриття кодів. Одержані коди можуть використовуватися для подачі числових величин.

Висвітлено притаманні складним ієрархічним представленням проблеми збереження інформації про структуру даних, що кодуються, та способи їх подолання шляхом "зв'язування" підструктур. Розглянуто тип розподілених представлень, в якому інформація кодується багатовимірними бінарними векторами з малим числом одиниць. Наведено вимоги до процедури зв'язування та реалізація для таких представлень.

Розглянуто моделі першої стадії міркувань за аналогією: пошук у пам'яті аналогів деякої ситуації. Ситуації та аналоги ієрархічно структуровані та можуть включати відношення вищих порядків, що ускладнює пошук за умов використання традиційних підходів. Наведено схеми розподіленого представлення аналогів у вигляді багатовимірних бінарних векторів. Показано, що ступінь схожості ситуацій можна відобразити за допомогою величини скалярного добутку векторів, які їх представляють. Це створює підгрунтя для моделювання процесів пошуку аналогів людьми та більш ефективного пошуку у базах знань.

Індекс рубрикатора НБУВ: З973.6

Рубрики:

Нейрокомп'ютери

Шифр НБУВ: Ж14024 Пошук видання у каталогах НБУВ 

Розглянуто методи формування багатовимірних векторних представлень слів, що відображають їх семантичну близькість. Використовується статистика сумісного вживання слів і контекстів у великих корпусах текстів. Реалізовано прототип програмних засобів обробки текстової інформації, формування семантичних представлень та текстового пошуку. Приведено результати експериментальних досліджень адекватності розроблених представлень у ряді тестових задач.

Досліджено та порівняно час пошуку бінарних векторів за схожістю в асоціативній пам'яті для нейросіткового та традиційного підходів. Показано, що для ентропії сигнального простору порядку сотень та кількості запам'ятованих векторів, яка набагато перевищує ентропію, нейросітковий підхід перевершує традиційний навіть у разі реалізації на послідовному комп'ютері.

Рассмотрены векторные представления текстовой информации на основе частот встречаемости слов и их последовательности, а также распределенные векторные представления, учитывающие семантическую близость слов. Представлены архитектура программной системы, разработанной для экспериментального исследования алгоритмов поиска с помощью векторных представлений, и прототип системы поиска на базе веб-серверного подхода. Приведены результаты сравнительного тестирования.

Розглянуто процедури стохастичного розподіленого бінарного розрідженого кодування числових векторів. Розглянуто деякі проблеми такого кодування та варіанти їх подолання, у тому числі шляхом зв'язування контекстно-залежним проріджуванням. Наведено характеристики перекриття кодів для різних розмірностей вхідного простору та параметрів кодування.

Розроблено й експериментально досліджено бінарні розподілені представлення векторних даних (числових, текстових та зображень) у задачах класифікації. Проведено порівнювальний аналіз результатів для різних методів і задач із штучними та природними даними.

Розглянуто характеристики грубого кодування за допомогою випадково розподілених гіперпрямокутних рецептивних полів для двопорогової схеми випадкових підпросторів RSC та однопорогової схеми Prager. Одержано розподіли ймовірностей розмірності рецептивних полів, вирази щільності розподілу у різних точках вхідного простору, характеристики перекриття кодів та ін. Результати порівняльного аналізу підтверджено експериментально.

Надано опис нейромережевого класифікатора LiRA та його модифікацій. Наведено результати експериментального дослідження класифікації зображень рукописних цифр бази MNIST. Проаналізовано вплив на якість класифікації захисної смуги, розширення навчальної вибірки та ряду способів об'єднання множинних результатів. Запропоновано та випробувано процедури добору інформативних і фільтрації надлишкових ознак.

Розглянуто підхід до підвищення інтелектуальності інформаційних технологій і систем на основі моделювання мислення людини - міркувань по прецедентах і аналогіях і використання "знань здорового глузду". Для реалізації запропоновано використовувати методи нейросітьового розподіленого представлення інформації.

We investigate the properties of randomized binary vector representations with adjustable sparseness formed from the input vectors by projecting them using a random matrix with ternary elements {-1, 0, +1}. We analyze the accuracy of estimating the measures of similarity-difference of the source vectors having a floating-point format by the output binary vectors. Those vector representations can be used for an efficient processing of large volumes of input multidimensional vectors in applications related to search, classification, associative memory, etc.

An approach is proposed to the stable solution of discrete ill-posed problems, based on a combination of random projection of the initial ill-conditioned matrix with ill-defined numerical rank and pseudo-inversion of the resultant matrix. To select the dimension of the projection matrix, we propose to use selection criteria for the model and regularization parameter. The results of experimental studies on the well-known examples of discrete ill-posed problems are given. The solution error is close to the Tikhonov regularization error; however, reducing the matrix dimension due to the projection reduces the computational costs, especially at high noise levels.

Предложено использование бинарной случайной матрицы с элементами {0,1} для проецирования входных векторов, имеющих формат с плавающей запятой, в выходные векторы того же формата, но сокращенной размерности. Проанализирована точность оценки скалярного произведения, евклидова расстояния, нормы входных векторов по выходным. Аналитически и экспериментально показано, что ошибка оценки для предложенной случайной проекции меньше, чем для тернарной случайной матрицы.

Предложено преобразование входных вещественных векторов в выходные бинарные векторы путем проецирования бинарной случайной матрицей с элементами {0, 1} и порогового преобразования. Исследована скорость сходимости распределения компонентов векторов до бинаризации к гауссовому, а также ошибка оценки угла между входными векторами по бинаризованным выходным векторам. Показано, что при выборе параметров проецирования, для которых достигается близость распределения к гауссовому, экспериментальная и аналитическая ошибки близки.

Исследована оценка угла, скалярного произведения и евклидова расстояния вещественных векторов по бинарным векторам с регулируемой разреженностью. Преобразование проведено проецированием с применением бинарной случайной матрицы с элементами {0,1} и выходного порогового преобразования. Дан сравнительный анализ ошибки оценки мер сходства входных векторов по ряду мер сходства выходных бинарных векторов на основе скалярного произведения.